トークン(OpenAI API)
2 理解した
OpenAI APIはプロンプトをトークンと呼ばれる単位に分けて処理する
このトークン数で（も）Rate Limitsを司っている
1 理解するまで
TPM
token per minute / 1分あたりのトークン数
モデルによって単位が違う
davinciだと1tpmは 1-token-per-minute
adaだと1tpmは200-tokens-per-minute
が、トークン自体の解説はない
ChatGPT.icon
https://gyazo.com/c738f914e761c9113abaa5c3cccfcb89
access tokenじゃねえsta.icon
https://gyazo.com/f99f38d86e36a2838f51ff4d542ac7de
だめだぁsta.icon
promptに与える値として以下がある
array of tokens, or array of token arrays.
トークン（テキストによく見られる文字の並び）
どういうことsta.icon
なるほど
要するによーわからんけどトークン単位（コンパイラとかの文脈でいわれる「トークン」）に分けてるわけね
appleは1tokenだが、りんごは4token
ああ、nishio.iconが言ってたのはこれか
トークンのつくりかた見たければこれ見よだと